大語言模型推理效率迎來突破。清華大學與Moonshot AI聯合提出“預填充即服務”新架構,通過將推理過程拆分爲預填充和解碼兩個階段,並優化算力資源分配,有效解決硬件限制問題,顯著提升模型服務性能。
Moonshot AI與清華大學提出預填充即服務(PrfaaS)新架構,旨在解決大型語言模型推理中計算資源瓶頸。該架構將高計算密集的預填充階段(生成鍵值緩存)與解碼階段分離,以優化資源利用,突破傳統服務限制。
月之暗面(Moonshot AI)在Kimi K2.5模型發佈僅一個月後,年度經常性收入(ARR)突破1億美元,創下國產大模型企業變現新紀錄。這標誌着大模型商業化進入爆發期,算力資源供不應求,企業需預付千萬美元鎖定供應。
中國大模型行業競爭焦點正從技術轉向資本。月之暗面(Moonshot AI)態度突變,從“不急於上市”轉爲接觸投行評估赴港IPO,並啓動新一輪10億美元融資,投前估值達170億-180億美元。其K2.5模型商業化進程成爲關鍵驅動力,推動行業進入資本定價新階段。
全球首個20萬漢字智能助手
月之暗面AI助手,您的私人AI夥伴
Anthropic
$21
輸入tokens/百萬
$105
輸出tokens/百萬
200
上下文長度
Alibaba
$2
-
256
Moonshot
$4
$16
Bytedance
$0.8
Deepseek
$12
128
Tencent
$1
32
$525
Huawei
Chatglm
Iflytek
$1.8
$5.4
16
8
$8
Google
DevQuasar
這是一個基於Moonshot AI技術的量化版本模型,專注於視覺語言理解與生成任務,致力於降低知識獲取門檻,讓知識為每個人所用。
moonshotai
Kimi K2 Thinking 是月之暗面(Moonshot AI)開發的最新一代開源思維模型,具有強大的深度推理能力和工具調用功能。該模型採用混合專家架構,支持原生INT4量化,擁有256k上下文窗口,在多個基準測試中表現出色。
anikifoss
這是對Moonshot AI的Kimi-K2-Instruct-0905模型的高質量量化版本,採用HQ4_K量化方法,專門優化了推理性能,支持75000上下文長度,適用於文本生成任務。